En matière d’évaluation, faut-il donner la préférence aux acquis de formation ou à la satisfaction des apprenants ?

Patrice Bertrand : L’objectif d’une formation n’est pas d’avoir des participants heureux, mais de leur permettre d’acquérir des connaissances et des compétences nouvelles. C’est pourquoi la mesure des acquis, souvent négligée, a plus d’importance que la mesure de la satisfaction. Bien sûr, l’une et l’autre se complètent, mais demander aux participants s’ils estiment avoir appris quelque chose n’est clairement pas suffisant : il faut disposer d’une mesure plus précise, plus fiable, plus objective. La validation des acquis est l’objet du niveau 2 du modèle de Kirkpatrick, et un simple formulaire d'enquête ne permet pas d’y répondre, elle requiert un dispositif d’évaluation des connaissances couplé au dispositif d’enquêtes. C’est la force d’ExperQuiz que de permettre ce couplage des enquêtes programmées et de l’évaluation des connaissances, idéalement amont et aval.

Que demander à un dispositif d’évaluation ?

Patrice Bertrand : Il existe un grand nombre de bonnes pratiques qu’une solution d’évaluation doit mettre en œuvre, nous les détaillons dans notre livre blanc, qui est librement téléchargeable. Une exigence première est sans doute l’automatisation totale : une fois le système déployé et configuré, il ne doit plus demander la moindre intervention. Si un intervenant doit mettre une tâche récurrente dans son agenda, le risque est grand que le processus se grippe. Le seul sujet sur lequel les acteurs de la formation devront se pencher, et qui reste essentiel, c’est la conversion des analyses en actions de progrès. Car la finalité de tout le dispositif n’est pas d’informer, mais d’améliorer : on ne se contente pas de lire les rapports, on agit, on prend des décisions, afin que tous les indicateurs traduisent des progrès effectifs. Une autre exigence importante porte sur l’autonomie dans la configuration ou la personnalisation du dispositif : qu’il s’agisse d’ajouter quelques questions, modifier les e-mails d’invitation, ou changer la chronologie d’envoi, l’organisme doit pouvoir être autonome. Toutes les solutions n’offrent pas cette autonomie.

La contextualisation n’est pas une simple option…

Patrice Bertrand : Lorsqu’on sollicite les apprenants (ou les formateurs et managers), la contextualisation intervient à plusieurs niveaux. Dès le message d’invitation, il faut indiquer avec précision les caractéristiques de la formation, car pour le destinataire, les nombreuses informations de contexte (intitulé, dates, formateur…) indiquent immédiatement que le message est authentique, qu’il mérite leur attention. Une des bonnes pratiques essentielles est la mesure d’atteinte des objectifs propres à chaque formation. C’est une autre forme de contextualisation. De même, si plusieurs formateurs sont intervenus, l’enquête devra les identifier et poser les questions pertinentes sur chacun d’eux, nommément. Enfin, une autre forme de contextualisation consiste à rendre certaines questions, ou bien certaines parties entières de l’enquête dépendantes de réponses antérieures.

Automatiser les évaluations, est-ce déjà possible ?

Patrice Bertrand : Nous avons introduit la notion de cycle, qui permet de spécifier le scénario que l’on souhaite dérouler en relation avec chaque séance de formation. Le cycle définit, en référence au dernier jour de formation, chaque échéance à planifier : enquête à chaud, enquête à froid, mais également nombre de relances et espacement des relances. Le cycle permet de programmer dans le temps aussi bien de simples enquêtes que de réelles évaluations de connaissances. Le cycle peut également débuter en amont de la formation si besoin. Pour plus de flexibilité, il est possible de faire intervenir différents cycles, et d’indiquer pour chaque session, quel est le cycle qui doit être mis en place. C’est donc un outil d’automatisation particulièrement puissant, et qui peut être configuré en toute autonomie par les organismes de formation. En aval, la production de rapports et leur envoi aux intéressés est également automatisée. Un dispositif spécifique permet d’alerter immédiatement aussitôt qu’une réponse traduit un mécontentement qui nécessite une action rapide.

Il s’agit également de prolonger et d’approfondir les formations…

Patrice Bertrand : Une fois qu’un dispositif est mis en place, qui permet de solliciter les apprenants en aval de la formation, il est assez aisé de s’appuyer sur les mêmes outils pour aider à ancrer les apprentissages par des rappels réguliers. C’est une forme de micro-learning : chaque jour, ou bien chaque semaine, les apprenants recevront un petit exercice, peut-être une seule question, peut-être 5, qui vise à réactiver les acquis de la formation, de les consolider. Dans ce type de démarche, on met en œuvre également de l’adaptive learning, c'est-à-dire que l’exercice proposé dépend de l’ensemble des réponses antérieures de chaque apprenant. C’est un véritable prolongement des formations, et une forme intéressante de blended learning, associant à chaque formation une phase de consolidation de quelques mois.

La plateforme ExperQuiz est désormais dotée d’avancées en matière d’IA générative ?

Patrice Bertrand : Nous sommes très en pointe dans l’intégration de fonctionnalités d’IA dans ExperQuiz, avec en particulier la génération automatique de questions, ou encore la correction automatique du texte des réponses libres des apprenants. S'agissant de l'évaluation de formation, j’y vois moins d'applications directes, mis à part dans la compréhension des « verbatims », c'est-à-dire des champs de texte libre proposés dans les enquêtes. Il est courant, malheureusement, que ces textes ne soient pas lus avec suffisamment d’attention. L’IA permet, depuis plusieurs années déjà, d’analyser ce type de texte et d’en extraire une mesure de satisfaction ou de mécontentement, afin de déclencher des alertes si besoin.